Reinforcement Learning for Computer-Use Agents with Autonomous Evaluation
面向计算机使用代理的自主评估强化学习
🧭 GUI代理 · 噪声奖励校正
Ukrainian Catholic University, Lviv, Ukraine
用VLM作为不完美奖励信号的噪声校正强化学习，显著提升GUI代理任务成功率
📌 工作参考价值（4 点）
- 当无法获得密级标签或手工奖励函数时，可以用 VLM 评分作为稀疏奖励 来微调 Agent 策略，尤其适合 UI 自动化、电商操作机器人等视觉交互任务
- 将 VLM 评估视为带噪声的二元信道，推导出 PPO 中噪声校正奖励估计器 的思路，可直接复用于任何依赖不完美自动评估的 RL 训练，例如用 LLM 评价对话质量或推荐解释
- 实验中噪声校正明显优于直接用原始评估奖励（+5.1pp），提示在落地类似方案时，必须对自动评估器的误差建模，否则噪声会削弱甚至误导策略学习
- 该方法解耦了任务评估与策略优化，意味着可以 快速迭代评估器（更换 VLM 或 prompt）而不必改动 Agent 架构，适合工程中渐进式优化